Я намагаюся отримати RabbitMQ разом із Celery та Django, які збираються на екземплярі EC2, щоб виконати досить базову фонову обробку. Я запускаю rabbitmq-server 2.5.0 на великому екземплярі EC2. Я завантажив та встановив тестовий клієнт відповідно до інструкцій, наведених тут (у самому низу сторінки). Я просто відпустив тестовий скрипт і отримую очікуваний результат: швидкість зйомки: 2350 мсг / с, хв / середня / максимальна затримка: 588078478/588352905/588588968 мікросекунд швидкість зйомки: 1844 мс / с, хв / середня / максимальна затримка: 588589350/588845737/589195341 мікросекунд швидкість зйомки: 1562 мс / с, хв / середня / максимальна затримка: 589182735/589571192/589959071 мікросекунд швидкість зйомки: 2080 мсг / с, хв / середня / максимальна затримка: 589959557/590284302/590679611 мкс Проблема в тому, що він споживає неймовірну кількість процесора: PID КОРИСТУВАЧ PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND 668 rabbitmq 20 0 618m 506m 2340 S 166 6.8 2: 31.53 промінь.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java Я тестував на мікроінстанції раніше, і вона повністю споживала всі ресурси екземпляра. Цього можна очікувати? Я щось роблю не так? Дякую. Редагувати: Справжньою причиною цього допису було те, що celerybeat ненадовго працював нормально, а потім раптово поглинув усі ресурси системи. Я встановив інструменти управління rabbitmq і досліджував, як створюються черги із селери та з тестового набору rabbitmq. Мені здається, селера осирочує ці черги, і вони нікуди не йдуть. Ось черга, згенерована набором тестів. Створюється одна черга, і всі повідомлення потрапляють у неї і виходять: Celerybeat створює нову чергу для кожного запуску завдання: Він встановлює параметр автоматичного видалення на true, але я не зовсім впевнений, коли ці черги будуть видалені. Здається, вони просто повільно накопичуються і харчуються ресурсами. Хтось має ідею? Дякую.
2021-01-29 08:18:23
Гаразд, я це зрозумів. Ось відповідна документація: http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend Старі результати не будуть очищені автоматично, тому ви повинні переконатися, що споживаєте результати, інакше кількість черг з часом вийде з-під контролю. Якщо ви використовуєте RabbitMQ 2.1.1 або новішої версії, ви можете скористатися аргументом x-expires для черг, які закінчуються через певний час після їх невикористання. Термін закінчення черги можна встановити (у секундах) за допомогою параметра CELERY_AMQP_TASK_RESULT_EXPIRES (не ввімкнено за замовчуванням). | Щоб додати рішення Еріка Коннера до власної проблеми, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices говорить: Ігноруйте результати, які ви не хочете Якщо вас не хвилюють результати завдання, обов’язково встановіть параметр ignore_result, оскільки зберігання результатів витрачає час і ресурси. @ app.task (ignore_result = True) def mytask (…): щось () Результати можна навіть глобально відключити за допомогою параметра CELERY_IGNORE_RESULT. Це разом з відповіддю Еріка - це, мабуть, мінімум найкращих практик для управління результатами результатів. Якщо вам не потрібна серверна база результатів, встановіть CELERY_IGNORE_RESULT або взагалі не встановлюйте серверну інформацію результатів. Якщо вам потрібен сервер результатів, встановіть CELERY_AMQP_TASK_RESULT_EXPIRES, щоб захистити його від накопичення невикористаних результатів. Якщо вам це не потрібно для певної програми, встановіть локальний ігнор, як зазначено вище. | Ваша відповідь StackExchange.ifUsing ("редактор", function () { StackExchange.using ("externalEditor", function () { StackExchange.using ("фрагменти", function () { StackExchange.snippets.init (); }); }); }, "фрагменти коду"); StackExchange.ready (function () { var channelOptions = { теги: "" .split (""), id: "1" }; initTagRenderer ("". split (""), "" .split (""), channelOptions); StackExchange.using ("externalEditor", function () { // Потрібно запускати редактор після фрагментів, якщо фрагменти увімкнено якщо (StackExchange.settings.snippets.snippetsEnabled) { StackExchange.using ("фрагменти", function () { createEditor (); }); } ще { createEditor (); } }); функція createEditor () { StackExchange.prepareEditor ({ useStacksEditor: false, heartbeatType: 'відповідь', autoActivateHeartbeat: false, convertImagesToLinks: true, noModals: правда, showLowRepImageUploadWarning: true, репутаціяToPostImages: 10, bindNavPrevention: true, постфікс: "", imageUploader: { brandingHtml: "Працює на \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46,2665 7,94324 47,1084 7.58816C47.4091 7,46349 47,7169 7,36433 48,0099 7.26993C48.9099 6,97997 49,672 6,73443 49,672 5.93063C49.672 5,22043 48,9832 4,61182 48,1414 4.61182C47.4335 4,61182 46,7256 4,91628 46,0943 5.50789C45.7307 4,9328 45,2525 4,66231 44,6595 4.66231C43.6264 4,66231 43,1481 5,28821 43,1481 6,59048V11,9512C43,1481 13,2535 43,6264 13,8962 44,6595 13,8962C45,6924 13,8962 46,1709 13,2535 46,1709 11,9512V9,17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10,1419C4.492 14,114,09 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5949 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "even -dd \" clipod rule = \ "clipod rule = \" = \ "M25,6622 17,6335C27.8049 17,6335 29,3739 16,9402 30,2537 15,6379C30,8468 14,7755 30,9615 13,5579 30,9615 11,9512V6,59049C30,9615 5,28821 30,4833 4,66231 29,4502 4,66231C28,99755,55459495,55459495459495459495459495459495459495455 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1256 12.885321 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335Z792424 7.79.924 724.792424 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34663276.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 639.99 980980 614979 915911979 6159809 780 980980 611 979 980 980 980 980 980 980 9149 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ uB = fill00 c / a \ u003e ", contentPolicyHtml: "Внески користувачів, ліцензовані під \ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a =" href = "https://stackoverflow.com / legal / content-policy \ "\ u003e (політика щодо вмісту) \ u003c / a \ u003e", allowUrls: true }, onDemand: правда, discardSelector: ".discard-answer" , odmahShowMarkdownHelp: true, enableTables: true, enableSnippets: true }); } }); Дякуємо за надання відповіді на Stack Overflow! Будь ласка, не забудьте відповісти на запитання. Надайте деталі та поділіться своїми дослідженнями! Але уникайте ... Прохання про допомогу, роз’яснення або відповідь на інші відповіді. Складання заяв на основі думки; Підкріпіть їх посиланнями або особистим досвідом. Щоб дізнатись більше, перегляньте наші поради щодо написання чудових відповідей. Чернетку збережено Чернетку відкинуто Зареєструйтесь або увійдіть StackExchange.ready (function () { StackExchange.helpers.onClickDraftSave ('# login-link'); }); Зареєструйтесь за допомогою Google Зареєструйтесь за допомогою Facebook Зареєструйтесь за допомогою електронної пошти та пароля Подати Опублікувати в якості гостя Ім'я Електронна пошта Обов’язково, але ніколи не показується StackExchange.ready ( function () { StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming-tons-of-cpu% 23new-answer', ' сторінка запитань '); } ); Опублікувати в якості гостя Ім'я Електронна пошта Обов’язково, але ніколи не показується Опублікуйте свою відповідь Викинути Натискаючи «Опублікувати свою відповідь», ви погоджуєтесь з нашими умовами надання послуг, політикою конфіденційності та політикою файлів cookie Не відповідь, яку ви шукаєте? Перегляньте інші запитання, позначені тегом селера django rabbitmq, або задайте своє запитання.